Failure as a Process: An Anatomy of CLI Coding Agent Trajectories
CLI编程代理的失败轨迹：一项过程导向的实证解剖
🧭 Agent 故障过程分析
University College London · Nanjing University
首次大规模实证分析LLM CLI编程代理的失败轨迹，发现失败主要由认知错误驱动且早期隐蔽。
📌 工作参考价值（4 点）
- 代理监控引入过程性指标：不应仅以最终成败评估代理，可借鉴失败轨迹三阶段（onset, evolution, recovery），在推荐/搜索代理的交互过程中实时监测错误征兆，尤其是认知类错误（如错误理解环境状态），在早期步骤插入校验。
- 早期干预策略设计：论文指出多数失败在前几步就已埋下伏笔，且修复机会随时间衰减。在电商Agent工作流（如自动选品、广告出价）中，可对前几个动作设置更严格的沙箱验证或人工确认，阻断错误传播。
- 分阶段日志分析与故障归因：对线上代理的失败案例进行复盘时，可按执行步骤切片并标注错误类型（epistemic vs. aleatoric），定位“不可恢复点”，用于优化提示或工具描述。
- 多框架与模型一致性发现：研究覆盖7个模型、3个coding脚手架，其失败模式具有跨系统一致性，说明某些薄弱点（如对环境状态的误判）是LLM本质缺陷，对多Agent协作系统（如竞品分析、商品信息检索）的可靠性设计有普适参考价值。